Interlingua based neural machine translation

We propose a machine translation architecture based on autoencoders and a shared interlingua representation that produce comparable results to state of the art systems. Also we define evaluation and visualization strategies as metrics of the performance of the architecture

Learning multilingual and multimodal representations with language-specific encoders and decoders for machine translation

This thesis aims to study different language-specific approaches for Multilingual Machine Translation without parameter sharing and their properties compared to the current state-of-the-art based on parameter-sharing. We define Multilingual Machine Translation as the task that focuses on methods to translate between several pairs of languages in a single system. It has been widely studied in recent years due to its ability to easily scale to more languages, even between pairs never seen together during training (zero-shot translation). Several architectures have been proposed to tackle this problem with varying amounts of shared parameters between languages. Current state-of-the-art systems focus on a single sequence-to-sequence architecture where all languages share the complete set of parameters, including the token representation. While this has proven convenient for transfer learning, it makes it challenging to incorporate new languages into the trained model as all languages depend on the same parameters. What all proposed architectures have in common is enforcing a shared presentation space between languages. Specifically, during this work, we will employ as representation the final output of the encoders that the decoders will use to perform cross-attention. Having a shared space reduces noise as similar sentences at semantic level produce similar vectorial representations, helping the decoders process representations from several languages. This semantic representation is particularly important for zero-shot translation as the representation similarity to the languages pairs seen during training is key to reducing ambiguity between languages and obtaining good translation performance. This thesis is structured in three main blocks, focused on different scenarios of this task. Firstly, we propose a training method that enforces a common representation for bilingual training and a procedure to extend it to new languages efficiently. Secondly, we propose another training method that allows this representation to be learned directly on multilingual data and can be equally extended to new languages. Thirdly, we show that the proposed multilingual architecture is not limited only to textual languages. We extend our method to new data modalities by adding speech encoders, performing Spoken Language Translation, including Zero-Shot, to all the supported languages. Our main results show that the common intermediate representation is achievable in this scenario, matching the performance of previously shared systems while allowing the addition of new languages or data modalities efficiently without negative transfer learning to the previous languages or retraining the system.El objetivo de esta tesis es estudiar diferentes arquitecturas de Traducción Automática Multilingüe con parámetros específicos para cada idioma que no son compartidos, en contraposición al estado del arte actual basado en compartir parámetros. Podemos definir la Traducción Automática Multilingüe como la tarea que estudia métodos para traducir entre varios pares de idiomas en un único sistema. Ésta ha sido ampliamente estudiada en los últimos años debido a que nos permite escalar nuestros sistemas con facilidad a un gran número de idiomas, incluso entre pares de idiomas que no han sido nunca entrenados juntos (traducción zero-shot). Diversas arquitecturas han sido propuestas con diferentes niveles de parámetros compartidos entre idiomas, El estado del arte actual se enfoca hacía un solo modelo secuencia a secuencia donde todos los parámetros son compartidos por todos los idiomas, incluyendo la representación a nivel de unidad lingüística. Siendo esto beneficioso para la transferencia de conocimiento entre idiomas, también puede resultar una limitación a la hora de añadir nuevos, ya que modificaríamos los parámetros para todos los idiomas soportados. El elemento común de todas las arquitecturas propuestas es promover un espacio común donde representar a todos los idiomas en el sistema. Concretamente, durante este trabajo, nos referiremos a la representación final de los codificadores del sistema como este espacio, puesto que es la representación utilizada durante la atención cruzada por los decodificadores al generar traducciones. El objetivo de esta representación común es reducir ruido, ya que frases similares producirán representaciones similares, lo cual resulta de ayuda al usar un mismo decodificador para procesar la representación vectorial de varios idiomas. Esto es especialmente importante en el caso de la traducción zero-shot, ya que el par de idiomas no ha sido nunca entrenado conjuntamente, para reducir posibles ambigüedades y obtener una buena calidad de traducción. La tesis está organizada en tres bloques principales, enfocados en diferentes escenarios de esta tarea. Primero, proponemos un método para entrenar una representación común en sistemas bilingües, y un procedimiento para extenderla a nuevos idiomas de manera eficiente. Segundo, proponemos otro método de entrenamiento para aprender esta representación directamente desde datos multilingües y como puede ser igualmente extendida a nuevos idiomas. Tercero, mostramos que esta representación no está limitada únicamente a datos textuales. Para ello, extendemos nuestro método a otra modalidad de datos, en este caso discurso hablado, demostrando que podemos realizar traducción de audio a texto para todos los idiomas soportados, incluyendo traducción zero-shot. Nuestros resultados muestras que una representación común puede ser aprendida sin compartir parámetros entre idiomas, con una calidad de traducción similar a la del actual estado del arte, con la ventaja de permitirnos añadir nuevos idiomas o modalidades de datos de manera eficiente, sin transferencia negativa de conocimiento a los idiomas ya soportados y sin necesidad de reentrenarlos.Postprint (published version

Size and spatial and functional structure of aggregate daily mobility networks in functional urban areas: Integrating adjacent spaces at several scales

People's daily movements, as aggregated in spatial units, shape mobility flows that can be modelled by geospatial networks. The structure of these networks both reflects and influences how cities are lived in, perceived and planned. In this study, location tracking data from mobile phones were used to investigate the functional and spatial structures of daily mobility networks and how these networks change as they grow in size. A case study was performed on 81 Spanish functional Urban Areas (FUAs). The results of this study show that the friction of the space and the average length of the aggregate daily mobility are constant and do not depend on the area and demographic size of the FUAs. The average length of the aggregate daily mobility is associated with the increase in complexity that occurs as mobility networks grow, which is reflected in an increase in the number of levels of interaction and the proportion of local flows that integrate adjacent spaces across different scales. The method used provides quantitative indicators that reveal the similarities and differences of daily mobility, as well as the interactions that occur in FUAs according to their size. This information is very useful in urban and mobility planning

Strategies for the synthesis of enantiopure compounds focused on organocatalysis

Podeu consultar el llibre complet a: http://hdl.handle.net/2445/32393The preparation of enantiomerically pure compounds (EPC) is a continuous social demand due to the clinical advantages that enantiopure drugs offer over the racemic forms. Here, the best well-established synthetic strategies to access to single-enantiomer compounds are briefly described and compared. In particular, the enantioselective catalysis is introduced paying special attention to the organocatalysis, an emerging and fruitful area in the EPCsynthesis. Of particular interest is the use of small organic molecules as catalysts in cascade reactions. Organocascade reactions involve the formation of several chemical bonds and often generate stereogenic centers with excellent stereoselectivity. Such one-pot reactions avoid time-consuming and costly step-bystep processes and are environmentally friendly as they occur in the absence of metals. Additionally, the chemical waste of the organocatytic cascade reactions is drastically reduced since the intermediates are not isolated and purified

Generación morfológica con algoritmos de aprendizaje profundo integrada en un sistema de traducción automática estadística

La variación morfológica entre un lenguaje fuente y el lenguaje destino genera dificultades a los algoritmos estándares de traducción como el estadístico basado en segmentos. En este trabajo planteamos dividir la tarea de traducción en dos partes: primero, simplificamos el lenguaje destino en términos morfológicos y construimos el sistema de traducción con esta modificación; y después utilizamos un algoritmo de clasificación para generar la morfología final. Este trabajo presenta una arquitectura de aprendizaje profundo que permite añadir de manera efectiva la información morfológica a la traducción simplificada generada por un traductor estadístico basado en segmentos. Demostramos que la arquitectura diseñada presenta resultados superiores a los algoritmos estado-del-arte en términos de precisión y que la calidad de la traducción mejora en términos de METEORPeer ReviewedPostprint (author's final draft

Sistema de telepresencia controlado por una interfaz cerebro-computador: pruebas iniciales con pacientes de ELA

Las interfaces cerebro-ordenador (BCIs, siglas de su término inglés Brain-Computer Interfaces) proporcionan a sus usuarios comunicación y control únicamente con su actividad cerebral. Éstas no dependen de los canales de salida habituales del cerebro de nervios periféricos y músculos, abriendo un nuevo y valioso canal de comunicación para personas con enfermedades neurológicas o musculares severas, tales como la esclerosis lateral amiotrófica (ELA), infarto cerebral, parálisis cerebral, y daños en la médula espinal. La combinación de las interfaces cerebro-ordenador con la robótica puede dotar a los usuarios de una entidad física personicada en un entorno real (en cualquier parte del mundo con acceso a Internet) preparada para percibir, explorar, e interaccionar, controlada únicamente con la actividad cerebral. Además, ha sido sugerido que este tipo de sistemas podría proporcionar benecios en patientes de ELA dentro del contexto de neurorehabilitación o mantenimiento de la actividad neural. Esta tesis fin de máster presenta el proceso completo de desarrollo de un prototipo inicial de un sistema de telepresencia basado en BCIs y su evaluación con usuarios sanos, y su posterior rediseño (para cubrir las necesidades de pacientes reales) y evaluación con pacientes de ELA. Los resultados mostraron la viabilidad de esta tecnología en pacientes reales

A subject-specific neurofeedback approach for cognitive enhancement

La técnica de neurofeedback (NF) permite el aprendizaje de la auto-regulación de la actividad cerebral, por la cual los usuarios pueden aprender a modificar (hasta un cierto grado) patrones de la actividad cerebral. Un punto clave del NF en la práctica es la técnica de registro de la actividad cerebral, donde el electroencefalograma (EEG) es la más usada debido a que es no invasiva, portátil y tiene una buena resolución temporal. La investigación en neurociencia ha reportado en repetidas ocasiones la relación de determinadas funciones cognitivas y desórdenes psiquiátricos con las oscilaciones del EEG. Por lo tanto, no es sorprendente que la regulación de estas oscilaciones conlleve efectos en comportamiento. Por ejemplo, muchos estudios han aplicado esta técnica de NF para aumentar funciones cognitivas como memoria de trabajo, atención y habilidades visuoespaciales, usualmente evaluadas en usuarios sanos. Además se ha aplicado NF para el tratamiento de desórdenes psiquiátricos tales como el trastorno por déficit de atención con hiperactividad (TDAH), depresión, epilepsia y tinitus, entre otros. El EEG es una señal no estacionaria que presenta una variabilidad inherente entre usuarios en los correlatos de procesos mentales. Sin embargo, la gran mayoría de técnicas de NF desarrolladas hasta el momento son genéricas en el sentido de que no se adaptan a los patrones individuales de EEG de cada usuario. En este sentido ha habido una tendencia en los últimos años hacia el uso de técnicas de NF específicas por medio de la adaptación de algunos métodos involucrados en el procedimiento. Esta tesis aborda el diseño de una técnica de NF dentro de un framework unificado, y muestra su viabilidad por medio de la implementación de tres estudios de NF consistentes en el incremento de la actividad en alpha superior para mejora cognitiva, evaluada en usuarios sanos, pacientes con depresión mayor y niños con TDAH. Una disciplina que viene a la mente cuando pensamos en cómo individualizar la técnica de NF son las interfaces cerebro-computador (BCIs). Las BCIs es una tecnología reciente cuyo objetivo es abrir un canal de comunicación entre un humano y un dispositivo usando únicamente la actividad cerebral para mejor la calidad de vida de personas con graves deficiencias motoras. Un punto clave de las BCIs es que los métodos de procesamiento de la señal se adaptan a cada usuario y momento de utilización de la tecnología. Esto se logra usualmente por medio de una fase de calibración ejecutada antes de la operación en línea. En esta fase de calibración los usuarios realizan tareas mentales que permiten medir algunos correlatos de EEG que son usados para calcular filtros individualizados, por ejemplo en términos de filtrado de artefactos y detección de tareas mentales. Después estos filtros se aplican en línea al EEG para decodificar las tareas mentales, accionando en consecuencia el dispositivo. Tomando el framework de BCI como referencia, proponemos los siguientes métodos individualizados: (1) un método de filtrado de artefactos en tiempo real (usando separación ciega de fuentes) para eliminar los artefactos de los patrones cerebrales de interés; (2) un método novedoso para la individualización de los patrones cerebrales de acuerdo a la combinación de registros de EEG en dos condiciones (estado de reposo y tarea activa); (3) un método para calcular el nivel de trabajo de los patrones cerebrales (baseline) por sujeto y sesión; y (4) una variedad de métodos y métricas para evaluar los efectos del NF en los patrones cerebrales (post-análisis). Para evaluar la viabilidad y validez experimental de esta técnica de NF, llevamos a cabo una implementación de un protocolo de NF basado en el incremento de la actividad en alpha superior para mejora cognitiva, evaluada en tres estudios distintos de NF involucrando usuarios sanos, pacientes con depresión y niños con TDAH. Estos estudios investigaron si individuos sanos, con depresión y ADHD son capaces de incrementar la potencia en alpha superior por medio de NF y, si es así, si estos efectos están relacionados con efectos en comportamiento (rendimiento cognitivo o escalas clínicas). 1. El primer estudio investigó los efectos de una única sesión de NF en usuarios sanos (N = 19) en un diseño experimental con falso feedback. Este estudio mostró un incremento en la potencia en alpha superior en la tarea activa (inmediatamente después del NF) así como un incremento en potencia en alpha superior durante la tarea de rotación mental (intervalo preestímulo), únicamente para el grupo experimental. Ambos grupos mejoraron en rendimiento cognitivo, con una mejora superior para el grupo experimental. Sin embargo una única sesión parece insuficiente para producir diferencias significativas entre grupos. 2. El segundo estudio investigó los efectos de ocho sesiones de NF en pacientes con depresión (N = 60) en un estudio controlado. Este estudio mostró un incremento en la potencia en alpha superior en la tarea activa (pre-post estudio) para el grupo experimental. Estos efectos no estuvieron restringidos espacialmente o espectralmente al parámetro de NF. Se encontró un incremento de actividad a nivel de las fuentes cerebrales en alpha para el grupo experimental, localizado en el giro cingulado anterior (sgACC, BA 25). El grupo experimental mostró un incremento en rendimiento así como un incremento en velocidad de procesamiento medido por un test de memoria de trabajo después del NF, sugiriendo por tanto que los síntomas cognitivos de pacientes con depresión pueden aliviarse por medio de este procedimiento. 3. El tercer estudio investigó los efectos de 18 sesiones de NF en niños con TDAH (N = 20) en un estudio preliminar no controlado. Este estudio mostró un incremento en la potencia (relativa y absoluta) en alpha superior en la tarea activa (pre-post estudio). Mientras que los cambios pre-post estudio estuvieron restringidos mayormente a la banda alpha superior, los efectos dentro de la sesión mostraron un decremento en potencia absoluta en las bajas frecuencias (se debe notar que los niños con TDAH usualmente tienen un exceso de actividad en bajas frecuencias). Los padres indicaron una mejora clínica en los niños con respecto a inatención e hiperactividad/impulsividad, y los tests neuropsicológicos mostraron una mejora en memoria de trabajo. En resumen, estos resultados muestran que la técnica de NF se adaptó a la gran variabilidad de los patrones cerebrales entre sujetos y sesiones. Además, estas tres poblaciones fueron capaces de auto-regular los patrones cerebrales con una consecuente mejora tanto en rendimiento cognitivo y como en escalas clínicas (en el caso de niños con TDAH). Aunque la principal contribución de esta tesis está en los métodos y en la implementación de una técnica individualizada de NF, los estudios de NF aquí presentados son novedosos en sí mismos y los resultados que se extraen de ellos constituyen una contribución añadida de esta tesis.Neurofeedback (NF) promotes the learning of the self-regulation of brain activity, where subjects can learn to shape (to a certain degree) some patterns of brain activity. A key practical point of NF is the recording technique of brain activity, where the electroencephalogram (EEG) is the most widely used one as it is non-invasive, portable and presents a good temporal resolution. Neuroscience research has repeatedly reported the relation of cognitive functions and some psychiatric disorders to EEG oscillations. Thus, it is not surprising that the regulation of EEG oscillations yields behavioral effects. For instance, a large body of research has applied NF for the enhancement of cognitive functions such as working memory, attention and visuospatial abilities, usually applied to healthy subjects. NF has been also applied for the treatment of psychiatric disorders such as attention-deficit/hyperactive disorder (ADHD), depression, epilepsy and tinnitus, among others. EEG is a non-stationary signal that presents an inherent variability among subjects in the EEG correlates of brain processes. However, the large majority of NF procedures developed to date are subject-generic in the sense that they are not adapted to the individual EEG patterns of each subject. In this direction, there has been a trend in recent years towards the use of subject-specific NF procedures by adapting some methods involved in that procedure. This thesis addresses the design of a subject-specific NF approach in a unified framework, and shows its feasibility by implementing three different NF studies of upper alpha up-regulation for cognitive enhancement in healthy subjects, patients with major depressive disorder and children diagnosed with ADHD. One discipline that comes to mind when thinking about how to individualize EEG-based NF procedures is the brain-computer interfaces (BCIs). BCIs is a recent technology whose objective is to open a communication channel between a human and a device using only brain activity to improve the quality of life of people with severe motor disability. A key point of BCIs is that the signal processing methods are adapted for each subject and time of use of the technology. This is commonly achieved by a calibration phase before the online operation. In this calibration phase, the subjects perform metal tasks that allow to measure some EEG correlates that are used to compute subject-specific filters, for example in terms of filtering the EEG artifacts and detecting the mental tasks. These filters are then applied during the online operation phase to the ongoing EEG to decode the mental tasks, actuating the devices accordingly. Taking the BCI framework as a reference, we propose the following individualized methods: (1) a real-time artifact filtering method (using blind source separation) to remove the artifacts from the brain patterns of interest; (2) a novel method for the individualization of the brain patterns according to the combination of EEG recordings in two conditions (resting state and task-related activity); (3) a method for computing the baseline working level of the brain patterns per subject and session; and (4) a variety of methods and metrics to assess the effects of NF on the brain patterns (post-analysis). In order to demonstrate the feasibility and experimental validity of this subject-specific NF approach, we carried out an implementation of a NF protocol of upper alpha up-regulation for cognitive enhancement, evaluated in three different NF studies involving healthy subjects, depressed patients and ADHD children. These studies investigated whether healthy, depressed and ADHD individuals could learn to increase the individual upper alpha power by means of NF, and whether these effects were related to behavioral effects on either cognition or clinical outcome. 1. The first study investigated the effects of a single NF session on healthy participants (N = 19) following a sham-controlled experimental design. This study showed increased upper alpha power in task-related activity (immediately after training), as well as increased pre-stimulus upper alpha power during the execution of a mental rotation task, apparen only for the experimental group. Both groups improved cognitive performance, with a more prominent improvement for the experimental group. However a single session seems to be insufficient to yield significant differences between groups. 2. The second study investigated the effects of eight NF sessions on depressed patients (N = 60) in a controlled study. This study showed increased upper alpha power in task-related activity (pre-post study) for the experimental group, not spatially or spectrally restricted to the trained parameter. A current density increase appeared at brain source level in alpha for the experimental group, localized in the subgenual anterior cingulate cortex (sgACC, BA 25). The experimental group showed increased performance as well as improved processing speed in a working memory test after the training, thus suggesting that the cognitive symptoms of depressed patients could be alleviated by this typeof procedure. 3. The third study investigated the effects of 18 NF sessions on ADHD children (N = 20) in a preliminary uncontrolled study. This study showed increased relative and absolute upper alpha power in task-related activity (pre-post study). While the pre-post study effects were mainly restricted to upper alpha, within-session analysis showed an absolute power decrease in slow-frequency oscillations (note that ADHD children commonly show an excess of slow-frequency activity). Parents rated a clinical improvement in children regarding inattention and hyperactivity/impulsivity, and neurophysiological tests showed an improvement in working memory. In summary, these results show that the NF technique was able to accommodate the large variability of the brain patterns among subjects and over sessions. In addition, these three populations were able to self-regulate the targeted brain patterns with a consequent improvement in cognitive performance and clinical outcome (in the case of ADHD children). Although the main contribution of the thesis is on the methods and on the implementation of the subject-specific NF procedure, the NF studies herein presented are novel and the results extracted from them constitute an added contribution of this thesis

Chinese-Catalan: A neural machine translation approach based on pivoting and attention mechanisms

This article innovatively addresses machine translation from Chinese to Catalan using neural pivot strategies trained without any direct parallel data. The Catalan language is very similar to Spanish from a linguistic point of view, which motivates the use of Spanish as pivot language. Regarding neural architecture, we are using the latest state-of-the-art, which is the Transformer model, only based on attention mechanisms. Additionally, this work provides new resources to the community, which consists of a human-developed gold standard of 4,000 sentences between Catalan and Chinese and all the others United Nations official languages (Arabic, English, French, Russian, and Spanish). Results show that the standard pseudo-corpus or synthetic pivot approach performs better than cascade.Peer ReviewedPostprint (author's final draft